\documentclass[12pt,a4paper]{article}
\usepackage{xeCJK}
\usepackage{ctex}
\usepackage{booktabs}
\usepackage{makecell}
\usepackage{geometry}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{amsthm}
\usepackage{graphicx}
\usepackage{wrapfig}
\usepackage{abstract}
\usepackage{float}
\usepackage{algorithmicx}
\usepackage[ruled]{algorithm}
\usepackage{algpseudocode}
\usepackage{xcolor}
\usepackage{setspace}
\usepackage{color}
\usepackage{bm}
\usepackage{url}
\usepackage{cite}
\usepackage{array}
\usepackage{textcomp}
\usepackage{appendix}
\usepackage{listings}

\setstretch{1.2} 
\setlength{\parindent}{0.8cm}
\geometry{left=3cm,right=3cm,top=2.5cm,bottom=2.5cm}

\title{\vspace{-2cm} \textbf{第七次课堂作业}}

\author{邵柯欣 \\学号：3200103310 \\课程名称：数据科学的数学基础}

\date{\today}

\begin{document}
\maketitle
\section{证明$\forall A \in \mathbb{R}^{m*n}(n \le m)$，最小二乘问题$min_{x \in \mathbb{R}^n} \| Ax - b\|_2$有唯一解$\iff rank(A) = n$。}
证明：\\
$\because$ $rank(A^TA, A^Tb) \ge rank(A^TA)$ and $rank(A^TA, A^Tb) = rank(A^T(A, b)) \le rank(A^T) = rank(A^TA)$\\
$\therefore$ $rank(A^TA, A^Tb) = rank(A^TA)$\\
$\because$ 当增广矩阵的秩和系数矩阵的秩相同时，非齐次线性方程组$A^TAx = A^Tb$有解\\
$\therefore$ $min\|Ax - b\|$有解\\
当$rank(A) = n$时，$A^TA$为对称正定矩阵，可逆，则$min\|Ax - b\|$有唯一解\\
因此，$min\|Ax - b\|$有唯一解$\iff$矩阵$A$列满秩（$rank(A) = n$）。
\section{证明对$A \in \mathbb{R}^{m*n}$，如果最小二乘问题$min_{x \in \mathbb{R}^n} \| Ax - b\|_2$存在两个不同的解$x_1,x_2$，则必须满足$Ax_1 = Ax_2$。}
证明：\\
若$x_1,x_2$为$min\|Ax - b\|$的解，则$x_1,x_2$也为$A^TAx = A^Tb$的解。证明如下：\\
必要性：设$x^*$是$min\|Ax - b\|$的解，则$\|Ax^* - b\| = min\|Ax - b\|$\\
所以$\forall z \in \mathbb{R}^n$,满足
\begin{align}
  \|Ax^* - b\|^2 \le \|A(x^* + z) - b\|^2 \notag \\
  = (A(x^* + z) - b)^T(A(x^* + z) - b) \notag \\
  = \|Ax^* - b\|^2 + 2z^T(A^TAx^* - A^Tb) + \|Az\|^2 \notag 
\end{align}
因为$\|Az\|^2 \ge 0$恒成立，为了使上述不等式成立，则
$$A^TAx^* - A^Tb = 0.$$
充分性：若$x^*$满足$A^TAx^* - A^Tb = 0$，则$\forall x \in \mathbb{R}^n$有
\begin{align}
  \|Ax - b\|^2 = \|Ax^* + A(x - x^*) - b\|^2 \notag \\
  = \|Ax^* - b\|^2 + 2(x - x^*)^T(A^TAx^* - A^Tb) + \|A(x - x^*)\|^2 \notag \\
  = \|Ax^* - b\|^2 + \|A(x - x^*)\|^2 \notag \\
  \ge \|Ax^* - b\|^2
\end{align}
所以$x^*$是$min\|Ax - b\|$的解。\\
因此，$A^TAx_1 = A^TAx_2 = A^Tb \iff Ax_1 = Ax_2$
\end{document}
